用好视觉Attention局部性,清华、字节提出Token Reorder,无损实现5倍稀疏、4比特量化 用好视觉Attention局部性,清华、字节提出Token Reorder,无损实现5倍稀疏、4比特量化 关键词: AI,模型训练,Token Reorder,模型训练 近年来,随着视觉生成模型的发展,视觉生成任务的输入序列长度逐渐增长(高分辨率生成,视频多帧生成,可达到 10K-100K)。 来自主题: AI技术研报 5729 点击 2025-06-30 15:35